Sự cai trị yếu đuối của hoàng đế Charles Béo thuộc vương triều Carolingian đã dẫn đến một cuộc nổi loạn của người cháu là Arnulf của Carinthia, cuối cùng đưa đến việc Đế chế Frank bị chia thành các vương quốc ở Pháp, Đức và Bắc Italy (887). Lợi dụng tình thế này, người Hungary xua quân cướp phá nhiều nơi. Những nhà quý tộc ở Đức sau đó suy tôn công tước của Saxony là Henry Người bắn chim lên làm vua tại Fritzlar năm 919. Thực ra thì quyền lực của Henry cũng chỉ lớn hơn các công tước kia một chút (điều này thể hiện nét đặc trưng của chế độ phong kiến ở châu Âu).

Con trai của Henry là Otto I (còn gọi là Otto Đại đế, ở ngôi từ 936-973) đã đánh bại một cuộc nổi loạn của các công tước được sự hậu thuẫn của vua Pháp, Louis IV, vào năm 939. Vào năm 951, Otto tiến vào Italy, lấy Nữ hoàng Adelaide rồi tự xưng là vua của những người Lombard, và nhận được sự tôn kính từ vua Italy lúc đó là Berengar của Ivrea. Ở phía đông, Otto đánh thắng người Hungary trong trận Lechfeld (955). Trận chiến này có ý nghĩa to lớn vì nó đã ngăn chặn bước tiến của người Hungary ở Tây Âu và buộc họ phải quay về sống trong lãnh thổ của mình.[47] Khi thanh thế đã lên cao, Otto tiến vào Italy một lần nữa và được gia miện thành hoàng đế La Mã (imperator augustus) bởi giáo hoàng John XII.

Các sử gia xem sự kiện này là mốc ra đời của Đế chế La Mã thần thánh, mặc dù từ này phải rất lâu sau đó mới được dùng. Otto là vị hoàng đế đầu tiên không phải thuộc triều Carolingian trên vùng đất mà sau này trở thành Đế chế La Mã thần thánh.[48] Nhà nước của Otto cũng được xem như Đế chế Đức đầu tiên. Otto cùng những vị Hoàng đế của Đế chế La Mã thần thánh đời sau tự xem mình như là dòng dõi hoàng đế hậu duệ của Charlemagne (mặc dù một số "hoàng đế" thực ra là những kẻ quyền lực người Italy đã ép buộc Giáo hoàng gia miện cho mình). Otto sau đó phế truất luôn Giáo hoàng John VII vì thông đồng với Berengar để chống lại ông, và lập nên Giáo hoàng Leo VIII. John phục hồi được ngôi vị, nhưng mất không lâu sau đó. Bên cạnh việc lập ra Đế chế Đức thì Otto còn tạo ra "hệ thống nhà thờ kiểu Otto", trong đó giới tăng lữ sẽ là một phần trong bộ máy chính quyền. Ông cũng tìm cách nâng cao tầm vóc và giá trị của chức Giáo hoàng lên để có thể gánh vác trách nhiệm lãnh đạo một nhà thờ quốc tế.